Thân thế của Kosem còn nhiều điểm chưa rõ ràng. Các tài liệu đáng tin cậy cho biết ông là một người Campuchia gốc Chăm, theo đạo Hồi. Không rõ tên thật của ông có phải là Les Kosem, Lès Kosem hoặc Les Kasem, hay đấy chỉ là tên đạo của ông. Ngoài ra, một số tên gọi như Haji hoặc Po Nagar cũng đã được ghi chép.

Dù thế nào thì Kosem cũng bắt đầu binh nghiệp của mình bằng việc phục vụ trong quân đội Liên hiệp Pháp trong cuộc Chiến tranh Đông Dương, chống lại những người Cộng sản Đông Dương đang lãnh đạo phong trào giành độc lập từ chính quyền thực dân Pháp.